package com.doitedu.core

import com.doitedu.utils.SparkUtil

/**
 * @Date: 22.6.29 
 * @Author: HANGGE
 * @qq: 598196583
 * @Tips: 学大数据 ,到多易教育
 * @Description:
 * filter  根据条件过滤数据
 *   map  flatMap  filter 处理分区内的每个元素
 */
object C11_Transformations_Operator_Filter {
  def main(args: Array[String]): Unit = {
    val sc = SparkUtil
      .getSparkContext("map算子")

    val rdd1 = sc.textFile("data/stu")
    val rdd2 = rdd1.map(line => {
      val arr = line.split(",")
      (arr(0).toInt, arr(1), arr(2), arr(3).toDouble)
    })
    // 成绩大于60  符合条件的数据会被留下
//    val rdd3 = rdd2.filter()
      // 过滤出成绩大于60  有名字的数据
      val rdd4 = rdd2.filter(stu=>stu._2.trim != "" && stu._4 > 60)
    rdd4.foreach(println)

    sc.stop
  }

}
